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Формал1зм мультимножин в задачах структурного 
розшзнавання та пошуку в базах в1деоданих 


Обосновывается применение аппарата мультимножеств при сопоставлении структурных описаний 
видеообъектов в целях распознавания или поиска в базах изображений. За счет анализа структурной 
информации об объекте в виде мультимножества обеспечиваются достаточно высокие показатели 
времени обработки и вероятности правильной классификации. Обсуждаются результаты компьютерных 
экспериментов. 
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Введение и постановка задач 


К 5 
Структурное описание видеообъекта 2 ={< }-—, 5<® из универсума 7, ДЕХ, 
представляет собой конечное мультимножество мощности 5, элементы которого — 
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характерные признаки (ХП) имеют структуру =* = (х®, УК, ^^), где ЛЕК", А ={А, 
атрибут, который описывается числовым вектором размерности п, а х, У — пиксельные 


координаты ХП. Атрибут Л, вычисляется таким образом, чтобы обладать инвариант- 
ностью к некоторой группе геометрических преобразований С [1-3]. В настоящее время 
наиболее популярные методы для формирования ХП -— ЗЕТ и ЗОВЕ [4], формирующие 
атрибут, инвариантный к преобразованиям смещений, поворотов и масштаба. Класси- 
фикация объекта на основе его описания 7 с применением структурно-иерархического 


р У 
метода (СИМ) рассматривается как отображение : 7 —> 2, где 2={7(])}, {20)} = -— 
конечное множество эталонных описаний (база видеоданных), и реализуется решением 
задачи оптимизации 


Д=ав шах 97,7, (1) 
7Е\1...../] 


где Зе В! — некоторая мера подобия описаний. В известных подходах [1-4] оп- 
ределение подобия 9(7,7(7)) сводится к вычислению мощности Н(Й;) подмножества 


2; с 2, для элементов которого установлено соответствие множеству 2(/1) Е 2 ‚ а решение 
(1) определяется как выбор 2, наибольшей мощности. Значение доли отданных за класс 


7 голосов трактуется как оценка апостериорной вероятности отнесения 7 к классу ). 
Вычисление и(7 —) в теоретико-множественной модели связано с голосованием ЕЙ 
и приводит к построению на множестве Х представления 7, = 07; в виде разбиения 
(7. 2. =©) или покрытия ( 7; те *©) [3]. 

Эксперименты показывают [4], что меры подобия 9(7,7(])) на основе представ- 
ления в виде множеств ХП являются более эффективными в плане помехоустойчивости 
по сравнению с мерами, в основе которых лежит анализ соответствий множеству или 
независимое голосование отдельных ХП. Учитывая, что значения ХП внутри одного 
описания могут быть эквивалентными (повторяться) из-за близости свойств фраг- 
ментов, при анализе подобия структурных описаний целесообразным представляется 
использование математического аппарата мультимножеств [5]. Применение мультимно- 
жеств в прикладных задачах компьютерного зрения за счет учета фактора повторяемости 
ХП в описании позволит обеспечить большую точность поиска и распознавания 
изображений в базах видеоданных. Аппарат мультимножеств целесообразно исполь- 
зовать совместно с проведением процедур предварительной кластеризации или по- 
строения гистограммных представлений структурного описания [4]. Формирование 
описаний в виде мультимножеств — это разновидность системы классов на мно- 
жестве ХИП. 

Цель работы — формализация методов построения, анализа и сопоставления 
структурных описаний изображений на основе аппарата мультимножеств, оценка 
свойств синтезированных мер подобия. 

Задачи работы состоят в развитии методов вычисления подобия описаний с 
использованием формализма мультимножеств, осуществлении экспериментальных 
исследований и сопоставлении результатов с другими методами для конкретных баз 
видеоинформации. 
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Формализация аппарата мультимножеств 

Подробное описание математического аппарата мультимножеств дано в [5]. 
Рассмотрим базовое множество И = {и1,ио....,и;,..}, состоящее из различающихся между 
собой элементов и;. Мультимножеством А ‚ порожденным базовым множеством 0, 
называют совокупность групп элементов вида А={Кд(и)®и|иЕИ,Кд(и) ЕС, }, где С, - 
множество целых неотрицательных чисел. Значение Кд:И —>С, ={0,1,2,...} называют 


функцией числа экземпляров мультимножества А ‚ оно определяет кратность вхо- 
ждения и ЕЙ в мультимножество, что обозначается символом «®». При условии 


ТиЕА, 


КА(и) = ХА(и) = 0. иеА МУЛьтимножество А становится обычным множеством 
) 


(без повторений элементов), Хд(И) — характеристическая функция мультимножества. 


Множество (О - это область определения кций Клд,Хлд. Важнейшими характе- 
А›ХА 
ристиками мультимножеств есть мощность СЯ ЧА) = Уи КА(И) — общее число экзем- 


пляров всех его элементов, размерность Чи А) = уз ХА(И) — число различных эле- 


ментов, высота /81(А) = тахКд(и) — максимальное значение его функции кратности. 
иЕЙ 


Мультимножество удобно представлять в виде гистограммы значений функции крат- 
НОСТИ т (и) . Наличие у мультимножеств новых характеристик по сравнению с тра- 


диционными множествами обуславливает существование большего разнообразия их 
ВИДОВ И СВОЙСТВ. 

Для мультимножеств определен расширенный ряд операций [5], [6]. В частно- 
сти, объединение ‹›, сумму + и симметрическую разность Л определяют как 


АчВ= {К ва ФИ | КВ (м) — пах(К д (и), Кв(и))}, 
А+В={Кд вии Кд. в(и)=КА(и)-+Кь(и)}, 
АЛВ={КАдь() и Кв КА -Кы |}. (2) 


Мера в(А) мультимножества определяется как действительная неотрицательная 
функция, основными свойствами которой являются: аддитивность и(А+ В) = и(А)+ (В), 
монотонность И(А)< и(В) > Ас В, эластичность (ре А) = Ы(А), мера пустого 
множества принята равной 0, и(@)=0. Меру В можно определить различными спо- 
собами, в частности как мощность сага(А) или как линейную комбинацию функций 
кратности В(А)=У,иКА(и;), и; >0. Значения и, позволяют управлять весом (зна- 
чимостью) базовых элементов и; еИ ‚ в отдельных применениях считают уз: и; =1. 

Метрические пространства (А‚р) мультимножеств определены путем введения 


расстояния Р(А, В) между мультимножествами А, ВЕ А. Примерами есть метрики 
Хемминга и Танимото 


Р(А, В) =ЖАЛВ), р»(А,В)=МААВ)ИКАЗВ). (3) 
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Метрика ро из (3) при использовании меры линейной комбинации кратностей: 


Ум | КА(и;) — Кв (и, | 


о ри ет 
Р2( ) Уи’ шах[Кд (м; ),Кв(и;)] 


(4) 


Метрика ро из (3), (4) удовлетворяет условию нормировки 0 <ро <1. Принадлеж- 
ность точки < мультимножеству А устанавливается путем вычисления характери- 
стической функции Хлд(<), где проверка условия < Е А выполняется последовательным 
сравнением < с элементами множества И на основе метрики р(з,и;) или меры раз- 
личия для элементов. Это можно реализовать путем оптимизации 


и. = аго тт р(з,и;), (5) 

иЕП 
где после реализации (5) дополнительно осуществляется проверка условия значи- 
мости р(<, и») 36), 6, — априорный порог, определяющий допустимый уровень экви- 


валентности элементов. Заметим, что правило (5) при условии представления эталонных 
описаний в виде мультимножества равноценно голосованию элемента за соответст- 
вующий эталон. С учетом этого момента применение правила (5) становится экви- 
валентным использованию мер типа (3) для множеств. 


Построение базового множества 
для представления структурных описаний 


При формировании структурного описания построение И как множества ато- 
марных структурных элементов есть ключевой проблемой, т.к. предполагает реали- 
зацию формальной процедуры классификации. 


р 
В качестве одного из вариантов можно рассматривать базовое множество И = {^, }, 


1 п п 
Л) ЕК атрибутов ХП в виде подмножества И < К’, т.к. вектор ХП наиболее точно 
отражает свойства визуального объекта в отдельно взятом фрагменте. Классифи- 


кация векторов формализуется в виде отображения К), : К" >И. В такой модели Ц 
может быть конечным или бесконечным множеством и формируется на основе конк- 
ретного априорно известного описания видеобазы 2, ‚ в рамках которой осуществляется 
поиск или распознавание объектов. Одним из классических критериев классифика- 
ции в векторном пространстве есть величина нормы вектора. Однако наши иссле- 
дования показывают, что для классификации ХП изображений норма вектора не 
является достаточно эффективным критерием. Системы ХП, полученные техноло- 
гиями Э[ЕТ и ОКЕ, вообще предполагают обработку таким образом, что нормы всех 
векторов из сформированного структурного описания приблизительно одинаковы. 

Другим способом есть представление множества атомарных объектов из компонент 
вектора ХП [4]. Здесь интегрированные описания эталонов сформированы в виде гисто- 
грамм из компонент вектора ХП, полученных дискретизацией значений компонент. 
Обработка данных в этом подходе носит в некотором плане синтетический характер, 
т.к. предусматривает разрозненный анализ составляющих единого описания, однако 
метод работоспособен и имеет важное прикладное значение с точки зрения высокого 
быстродействия из-за существенного сокращения объема описания [4]. 
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Еще одним критерием есть установление разновидностей (алфавита, классов) 
локальных окрестностей, для которых построен ХП: изолированная точка, угол, 
пересечение линий, т-образная точка, конец линии и т.д. [1]. Его реализация пред- 
полагает применение статистической обработки значений откликов соответствую- 
щих фильтров, например, ЗОВЕ. Учитывая огромное разнообразие разновидностей 
локальных окрестностей изображений и визуального представления для одного и 
того же типа ХП, решение этой сложной задачи вряд ли может быть осуществлено 
однозначно за приемлемое время и с нужной степенью достоверности. 

По нашему мнению, в качестве критерия, исключающего трудоемкий статисти- 
ческий анализ имеющихся данных с целью качественного обучения системы классифи- 
кации, может быть использование величин близости характеристик анализируемого ХП 
объекта и кластеров ХП, сформированных для эталонных данных. Классы базовых 
элементов мультимножества сформируем для реализации такого анализа на основе 
кластеризации множества структурных элементов базы эталонов [8], что обеспечит 
настройку на конкретный предмет анализа и необходимую эффективность в плане 
быстродействия и вероятности правильного распознавания. Кластеризация может 
быть выполнена как на основе векторов ХП, так и на базе их характеристик, включая 
гистограммные представления. 


Классификация с применением 
аппарата мультимножеств 


Кластеризация для эталонной базы может быть выполнена в двух вариантах. 
Первый вариант включает применение процедуры кластеризации к множеству струк- 
турных признаков 2: 2, характеризующему видеобазу, и рассмотрение множества 
кластеров К[ 21] как основы для распознавания. Задачу классификации (1) будем ре- 
шать на основе мультимножественного описания и модифицированной меры 31.] вида 
(3) - (5) с учетом кратности эквивалентных элементов, образующих кластеры. 

Иной вариант обработки предполагает независимое построение кластеров К[7(7)] 
для описаний эталонов. Затем понадобится построение общей системы Ку] с целью 


получения базового множества И. При этом К[ 21] = я К 7(7)], т.к. кластеры разных 
а 


описаний в случае независимого построения вообще могут не иметь общих элементов. 
Отметим, что независимое построение кластеров более точно учитывает разли- 
чия между классами, что в результате улучшит характеристики достоверности рас- 
познавания в целом. Особенно это касается объемных баз изображений, которые 
могут содержать объекты с близкими описаниями. Применение кластеризации для 
интегрированного описания видеобазы приводит к менее трудоемким процедурам за 
счет обобщения имеющейся эталонной информации, а также упрощает сопоставление. 


Зададим кластерное представление К 7())] описания 7(/) как Коль ЗИ, 
где &,(]) — множество элементов 1-го кластера, т(7) — число кластеров, и; — число 
элементов в кластере (^;(/), 2 (7) — некоторая обобщенная характеристика кластера 
к,(7), которая может быть использована при отнесении неизвестного объекта к кла- 
стеру, х()еИ — элементы базового множества. 


Исследовано два основных принципа построения меры подобия: кластер-кластер и 
точка-кластер [8-11]. Подход кластер-кластер предполагает предварительное осуществ- 
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ление кластеризации для описания 7. Он применим при достаточно высоком уровне 
сигнал-шум. В этой ситуации сопоставление структурных описаний сводится непосред- 
ственно к вычислению расстояния 3[К[71, КГ2(7)И между мультимножествами вида (3). 
Здесь ключевым моментом есть оценка подобия \.,^;(])] или степени соответствия 
между кластером А. объекта и кластером ^,(]) из описания /-го эталона, определяемая 
в соответствии с выражениями (2). 

При низких уровнях сигнал-шум более целесообразно применять анализ соответ- 
ствий точка-кластер (5), так как осуществление кластеризации для измененного под 
действием помех описания 7 может привести к таким нежелательным эффектам, как 
искажение ;(/), появление кластеров из ложных элементов, дополнительное распро- 
странение помех из-за присоединения ХП помех к кластерам описания. Подобие 
формализуется как 9[7, КИС и реализуется на основе оценки принадлежности 
Е, К; ЛЕ {0,1} (в виде бинарной функции) элемента  е 7 к одному из кластеров ^,(]) в 
представлении / -го эталона. Заметим, что обсуждаемые методы обеспечивают надежное 
распознавание при существенных искажениях распознаваемого объекта, уровень которых 
достигает до 75% от числа элементов исходного описания [3]. 

В обеих ситуациях применение аппарата мультимножеств сокращает объем вы- 
числений по сравнению с традиционным подходом, т.к. на подготовительном этапе 
путем кластеризации в базе данных осуществляется существенное сжатие информации. 
Схема классификации на основе предлагаемых мер подобия представлена на рис. 1. 


описание 7 


Характерные 


Мера подобия признаки 


3[7.К[7П : 
Кластеры 


к[2а)]  Эталоны К[20)] 


Рисунок 1 — Схема структурной классификации 
на основе кластерного представления 


Основой кластеризации есть меры близости между элементами и/или группами 
элементов в некотором пространстве, задающие отношение эквивалентности и, как 
результат, некоторое иерархическое представление данных [7-9]. Обсуждаемые форма- 
лизмы вида З{К(7), К(2(1))], 347, КИС — это меры на множестве отношений. Для ХП 


изображений можно использовать расстояния пространственного Ре, 24) и атри- 


бутивного р»(<,,з.) типа между элементами р, 54 © 2 .Конкретно в качестве р. (< р»5а) 
выступает одно из пиксельных расстояний, в качестве р),(2„,з4) можно использовать 


одну из метрик в пространстве числовых векторов. Основой пространственной кла- 
стеризации элементов изображения могут выступать также инвариантные геометри- 
ческие характеристики подмножеств координат описания (аффинные инварианты) [1]. 
Перспективным представляется комбинированный анализ на основе пространственно- 
атрибутивных характеристик. 

В целом эффективность обработки на основе кластеризации в плане объема вы- 
числительных затрат определяется отношением числа сформированных кластеров к 
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исходному числу ХП в описании, а также способом построения мер подобия. Однако 
очевидно, что сжатие исходных признаковых описаний путем кластеризации, фактически 
приводящее к некоторому обобщенному описанию, в итоге может привести к снижению 
вероятности правильной классификации объектов [11]. 

Результат применения методов зависит также от ряда других факторов: уровней 
аддитивных и пространственных помех, способа формирования ХП, характеристик базы 
видеоданных (межклассовые различия эталонов) и др. Одним из критериев общего вида 
может быть получение минимального числа кластеров для каждого из эталонов 7()), 


обеспечивающее надежное распознавание в конкретной базе видеоданных при заданном 
уровне помех. 


Результаты экспериментов и выводы 


Применение кластерных процедур направлено на улучшение вычислительных 
характеристик классификации, а использование аппарата мультимножеств обеспе- 
чивает необходимый уровень достоверности. 

Важным моментом есть возможность управления степенью сжатия описаний 
путем задания параметров кластеризации, к которым относятся: порог на величину 
близости элементов, группируемых в кластер; ограничение на число кластеров; размер 
используемого при кластеризации кортежа близких дескрипторов; достижение задан- 
ного значения критерия качества кластеризации и т.д. 

В проведенном компьютерном эксперименте мультимножества использовались 
на двух уровнях описания. На первом уровне каждый ХП из описания представлялся 
в виде гистограммы значений компонент [4]. Базовое множество формировалось на 
основе 17-ти диапазонов значений компонент детектора ЗОВЕ, вычисленных для 
базы видеоинформации. Таким путём осуществлён переход от ХП к гистограммным 
признакам (ГП). Эксперименты осуществлялись для нескольких баз видеоданных: 
с0120, аквариумных рыб [3], самолётов. Основная исследуемая база содержала 30 
изображений самолётов. Примеры изображений с выделенными ХП приведены на рис. 2. 
Исследования показали, что применение модификации с переходом в пространство 
ГП сокращает среднее время классификации изображения примерно в 12 раз по 
сравнению с традиционным методом. 

Второй уровень обработки включал расчет норм гистограмм для ГП первого 
уровня. Базовые множества построены для каждого из эталонов в виде мультимножеств, 
состоящих из кластеров. Решение о классе объекта принималось в соответствии с 
максимумом числа голосов элементов. В результате каждый из эталонов был пред- 
ставлен гистограммой. Последовательность обработки показана на рис. 3, а пример 
гистограммных описаний - на рис. 4. Предложенная двухуровневая система преобразо- 
вания ХП, как показали эксперименты, сокращает время классификации более чем в 8 
раз по сравнению с модификацией [4] и примерно в 90 раз в сравнении с традиционным 
методом ЗОВЕ. При этом объём описания сокращается в сотни раз (в среднем в 450) по 
сравнению со стандартным представлением. 

При низком уровне помех предложенные модификации обеспечивают безошибоч- 
ную классификацию для рассмотренных баз данных. Экспериментально в сравнитель- 
ном аспекте оценивалась также помехозащищённость традиционного метода ЗОВЕ, мо- 
дификации с использованием гистограмм [4] и предложенной двухступенчатой обра- 
ботки (рис. 3). Классификация осуществлялась в условиях искажения входных изо- 
бражений аддитивным шумом с нормальным распределением и нулевым матожиданием. 
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Соотношение сигнал-шум М оценивалось как отношение средней амплитуды сигнала, 
равной 75, к изменяющемуся СКО шума. В результате установлено, что при и > 2 
вероятность Р правильной классификации с применением традиционного детектора 


составила Р = 1. Для модифицированного метода с использованием ГИ вероятность 
Р =1 достигается при и > 7. В то же время для модифицированного метода на основе 


гистограмм второго уровня значение Р =1 при и > 20, а при и > 10 значение 
Р = 0,9, что говорит об ожидаемом снижении помехозащищённости из-за упрощения 
системы признаков. Как видим, значительное сокращение времени обработки (в десятки 


раз) и объема описания (в СОТНИ раз) приводит к некоторому снижению помехозащи- 
щенности. 


Рисунок 2 — Примеры изображений базы с выделенными ХП 


Гистограмма Формирование Вычисление Формирование Классификация на 


Дескрип- для ГП норм ГИ ГП второго основе подсчёта Класс 


торы 


множества уровня соответствий 


ХИ ХП 


Рисунок 3 — Схема классификации на основе гистограмм второго уровня 
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Рисунок 4 — Примеры гистограммного представления: 
а) первого уровня; 6) второго уровня 
Важным моментом есть исследование методов при воздействии пространствен- 
ных помех, т.к. именно для функционирования при такого рода препятствиях разраба- 
тываются структурные методы. Пространственная помеха исчезновения моделировалась 


в виде изъятия отдельных ХП из описания с заданной вероятностью '/ (исчезновение ХП). 


Отметим, что при этом типе помех существенно сказывается разное количество ХП в 
описаниях эталонов из базы (диапазон от 43 до 102). В целях снижения действия этого 
фактора осуществлялась нормализация гистограмм (деление на общее число элементов, 


т.е. на значение сага (А)). 
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Компьютерное моделирование показало, что до уровня 7 < 0,9 вероятность 


Р правильной классификации для традиционного детектора ЗОВЕ составляет 
Р =1, т.е. даже по 10% описания осуществляется правильная классификация. 
Заметим, что аддитивные искажения в данном эксперименте отсутствуют. Такой же 
уровень вероятности классификации Р = 1 достигается и для модифицированного 
одноступенчатого метода с применением ГП. В то же время для двуступенчатого 
метода вероятность Р = 1 достигается лишь при вероятности исчезновения у < 0,4, 


значение Р = 0,9 при 7 = 0,5. Таким образом, имеем, что метод, использующий 


ГП второго уровня, способен правильно классифицировать входное изображение на 
основе 60% неискаженного описания, а далее его эффективность снижается. Однако 
и уровень 60% является достаточно приемлемым на практике. В то же время с точки 
зрения времени обработки этот метод самый эффективный. 

В табл. 1 в качестве примера приведены значения нормированных гистограмм 
для одного из эталонов и изображения, полученного путём воздействия помехи ис- 
чезновения при У = 0,4. Как видим, даже при таком серьезном уровне искажений 


значения гистограмм достаточно устойчивы. 

В статье впервые показано, что применение аппарата мультимножеств повышает 
достоверность структурного распознавания за счет более точной оценки степени со- 
ответствия описаний видеообъектов. Изучены свойства модифицированных мер по- 
добия на основе кластерных описаний видеообъектов с использованием вариантов 
одноступенчатого и двухступенчатого гистограммного анализа. Быстродействие рассмот- 
ренных методов, как показало моделирование, существенно выше, чем у традиционных 
подходов, однако их помехозащищенность к пространственным помехам несколько ниже. 


Таблица 1 — Значения нормированных гистограмм при искажениях исчезновения 


Компонента 1 2 3 4 5 6 7 8 9 10 
гистограммы 

Эталон 0,1538 | 0,2692 | 0,3717 | 0,1025 | 0,0512 | 0,0384 0 0,0128 [0 0 
Изображение [0,1555 0 ото 


Практически важным результатом есть экспериментальное подтверждение теорети- 
ческих принципов построения методов классификации на основе кластерного анализа и 
мультимножеств для реальных баз видеоданных, что говорит о целесообразности 
применения предложенных модификаций методов в задачах компьютерного зрения. 
Несомненным преимуществом синтезированных методов есть существенный выигрыш 
во времени обработки и сокращение объема описания. 

Перспективы исследования состоят в развитии подхода к выбору оптимального 
числа кластеров или числа классов ХПИ в целях сохранения необходимого уровня дДо- 
стоверности классификации в условиях аддитивных и пространственных помех. 
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рипстрез оЁБазе пи зе Бат» юг $гасвага] дезсирйоп аге 4езспЬед. СЛаззсайоп тео 
Базе оп пли] зе 15 ргорозе4. 

ТБе ехрегипета| гези $ оп стазег ргоседиге$ аррИсаноп юг юге Базе пли зеё у 
шстеазте сотршабопа! рагате{егз оЁ с]аз$саноп аге зпо\уп. Ми!зес Вауе Бееп изе4 Гог 
смо 1еуе]5. АЕ Фе ВтгзЕ 1еуё], сВагацепзис Теавге Нот 4езсириоп Ваз Бееп ргеземе4 аз а 
Ы$юртат оЁ сотропепе уащез. ТБе зесопа 1еуе| оЁ ргосеззт» шса4ез езштаноп оЁ фе 
Ы5ю2гапл’5 попи Юг Ееагез [ей авег Фе НтзЕ заое. Те гези $ оРе ехрегитет6 Вауе зво\уп 
Фе еЁйстепсу оЁ пи 5е изте т ргезепсе оЁ адвуе апа зрайа| Ч15итФапсез. 
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